AI Papers Daily

#Majority Voting

4 篇

Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation

每个 token 都需要专属教师：多教师自适应 on-policy 自蒸馏

🧭 LLM 后训练 · token 级多教师 OPSD ★ 深度解读

TU München · Munich Center for Machine Learning · Kyoto University · ELLIS Institute Finland · Aalto University

提出 token 级自适应 on-policy 自蒸馏，用多教师池+多数投票+KL 为每个 token 选教师，数学推理最高提升+5.9

📌 工作参考价值（4 点）

• 在生成式推荐 / query 生成 / 文案生成的 on-policy self-distillation 中，如果使用高质量参考（如人工标注、规则 template）作为 privileged reference，建议构造多教师池：对参考做 prefix/suffix/random-span 截断、不同保留比例，而不是只用完整参考；再按 token 选择教师，可避免过度尖锐监督。
• 多数投票 + KL 距离是低成本的 token 级选择规则：先看候选教师对当前学生采样 token 的支持方向是否一致，再在一致子集里选 KL 最大的教师；不需要额外模型，可直接嵌入现有训练 pipeline。
• 消融表明，多教师池配随机选择或平均 loss 提升有限，真正收益来自自适应分配；因此如果业务上做多教师蒸馏，不能只做 ensemble，需要设计 token 级选择策略。
• 若在搜索/推荐 Agent 中让 LLM 生成推理或决策轨迹，可借鉴该 work 的 token 级教师干预评估法来快速诊断哪些位置需要更强监督，而不是整段统一加 loss。

Training | 2026-10-29 | cs.CL | score 8/10

On-policy Self-distillationToken-level Teacher SelectionMulti-teacherKL DivergenceMajority VotingMath Reasoning

TTPO: Test-Time Policy Optimization

测试时策略优化：非对称蒸馏与GRPO的无标签推理提升

🧭 测试时训练 · 非对称蒸馏与RL ★ 深度解读

Zhejiang University · Alibaba Group

多数投票伪标签下，正样本蒸馏、负样本GRPO惩罚，配合token级选择，无标签测试时训练匹配有监督OPSD

📌 工作参考价值（4 点）

• 无标签或延迟反馈的业务场景（如搜索/推荐结果的多步解释、Agent 任务完成率）可用模型自身多数投票/一致性产生伪标签；关键是不要直接蒸馏伪标签，而是对“与多数不一致”的样本做 RL 惩罚，这比正向模仿伪标签更抗噪声。
• 多步 Agent 或生成式推荐做 test-time fine-tune 时，正样本用蒸馏、负样本用 RL 惩罚，并且只对负样本中 confident errors（低概率低熵）施加梯度，避免惩罚正确的中间步骤；正样本按 step 重要度加权，降低已收敛位置的权重。
• 工程 trick：RL loss 需要加权重（约 0.1）平衡蒸馏 loss 的量级；固定正负样本 1:1 比动态比例更稳定；选择最短完整轨迹进入梯度更新窗口，可避免关键决策步骤落在梯度窗口外。
• 若业务有“答案可验证但无真值”的场景，优先用多数投票路由而不是 ground-truth 路由：困难样本上 GT 路由可能正样本为空导致训练信号消失，多数投票保证两个分支活跃，形成自我进化。

Training | 2026-08-26 | HF Daily | score 8/10

Test-Time TrainingSelf-DistillationGRPOMajority VotingToken-Level SelectionMath Reasoning

Consensus as Privileged Context for Label-Free Self-Distillation

共识作为特权上下文实现无标签自蒸馏

🧭 无标签自蒸馏 · 共识锚定 ★ 深度解读

ILLC, University of Amsterdam · ILCC, University of Edinburgh

用多票共识充当特权上下文，将投票信号转化为逐token的密集监督，替代RL并接近带标签蒸馏

📌 工作参考价值（4 点）

• 在无标注的推理场景（如电商搜索对话/商品理由生成）中，可通过采样多个回复、多数投票提取共识答案，将对应的高置信回复作为教师上下文进行自蒸馏，实现无黄金答案的模型提升
• 采用JSD散度进行全词表分布蒸馏，比硬标签SFT保留更多信息，且能利用非共识rollout中的差异信号，适合处理模糊或长尾输出
• 冻结教师快照，避免共享参数训练时迅速崩塌的问题，是低成本稳定蒸馏的关键工程技巧
• 一次采样同时获得投票结果和蒸馏数据，训练仅一个epoch，在精度-计算量前沿上显著优于TTRL等RL方案，适合资源受限的线上业务快速迭代

Training | 2026-07-15 | cs.CL | score 8/10

Label-Free Self-DistillationConsensus AnchoringMajority VotingTest-Time TrainingReasoningSelf-Improvement

SynthAVE: Scalable Synthetic Labeling for E-Commerce with LLM-Arena Validation

SynthAVE：电商属性抽取的规模化合成标注与多模型验证框架

🧭 多 LLM 协同标注 · 属性抽取验证 ★ 深度解读

Amazon

用 21 个异质 LLM 组成的投票仲裁机制验证合成标注，与人类专家一致性达 95.2% (κ=0.92)，错误校正率 83.1%

📌 工作参考价值（4 点）

• 数据质量兜底：业务中大量使用 LLM 生成商品属性标签（材质、颜色、适用年龄等）时，可引入 3–5 个异质模型 + 多 prompt 的轻量投票团进行盲评，仅对分歧样本投入人工复核，可将人工复审量压到 5% 以下而保持 97%+ 准确率。
• 一致性作为置信度信号：仲裁团的一致程度可直接用作标签可信度——全票通过（36% 样本）几乎无错（0% 翻转），低一致样本（<50%）自动转人工，实现风险分级工作流。
• 低成本规模化清洗：全文 7 模型 ×3 prompt 的成本约 $0.023/商品，仅保留最高性价比的 3 个家族（如 Claude、Nova、GPT）可降至 $0.002/商品。此类配置适合百万级商品库的背景批量纠错。
• 回避模型家族偏差：选择来自不同供应商、不同架构的模型，而非同家族不同尺寸，能显著降低系统性误判——文中 Claude 家族与 Qwen 家族间一致性仅 κ≈0.57，这种异质性恰恰是集成可靠的保障。

LLM | 2026-07-08 | cs.CL | score 10/10

LLM-as-JudgeAttribute ExtractionData ValidationMajority VotingE-commerceSynthetic Data